#!/bin/sh
# 是什么？ hdfs小文件合并脚本。
# 为什么？ hdfs小文件影响性能。
# 怎么办？ 定时合并一次，好处是简单，容错性高，如果失败可回退。
DATE=$(date +%Y-%m-%d)
#DATE='2022-07-11'
hdp=/usr/bin/hadoop
$hdp fs -cat /user/hive/warehouse/vaas_dws.db/dws_cet_endtempesti_data/$DATE/part* | $hdp fs -appendToFile - /user/hive/warehouse/vaas_dws.db/dws_cet_endtempesti_data/$DATE/all-part-0
#hadoop fs -rm -f /user/hive/warehouse/vaas_dws.db/dws_cet_endtempesti_data/$DATE/part-0-*
$hdp fs -mkdir -p /user/hive/warehouse/vaas_dws.db/dws_cet_endtempesti_data/backup/$DATE
$hdp fs -mv /user/hive/warehouse/vaas_dws.db/dws_cet_endtempesti_data/$DATE/part* /user/hive/warehouse/vaas_dws.db/dws_cet_endtempesti_data/backup/$DATE